Josef Grumer lebte für das Ehrenamt. Neben seiner Tätigkeit als Präsident des ARMV von 1960 bis 2002 war er von 1959 bis 2004 Mitglied des Gemeinderates in Appenweier, davon etliche Jahre als stellvertretender Bürgermeister. Beim Musikverein Appenweier begleitete er 36 Jahre das Amt des 1. Vorsitzenden und auch beim Schützenverein war er 23 Jahre als Oberschützenmeister oberster Repräsentant. Er hatte beste Kontakte in die Landespolitik, was die Besuche der Baden-württembergischen Ministerpräsidenten Filbinger, Späth und Teufel in Appenweier belegen. Nachdem Josef Grumer bereits 1976 das Bundesverdienstkreuz erhalten hatte, wurde er 2009 zum Ehrenbürger der Gemeinde Appenweier ernannt. Er verstarb 2012 im Alter von 86 Jahren.